词汇已在眼前：适配预训练可解释特征做生成式推荐
🧭 生成式推荐 · 可解释词汇复用 ★ 深度解读
Central South University · The Hong Kong University of Science and Technology (Guangzhou) · Hong Kong Polytechnic University · Queen Mary University of London · Microsoft
复用预训练稀疏自编码器特征索引作为语义 ID，无需额外词汇学习，实现高效且可解释的生成式推荐
📌 工作参考价值（4 点）
- 如果业务中有商品文本描述，可尝试用现成 P-SAE（如 SAELens 的 GPT-2 SAE、Gemma Scope）提取特征索引作为商品的离散语义表示，替代 RVQ 等需要训练的 tokenizer；跨域或新品类冷启动时无需重新拟合词汇表，显著降低 tokenization 成本。
- PID 构建的优先级公式 $\pi_{ij}=\log(1+a_{ij})\log(1/\rho_j)$ 本质是“激活强度 × 逆文档频率”，可借鉴到商品属性标签抽取：高频通用属性降权，保留有区分度的长尾属性，同时保留相对强度向量，避免相似商品共享相同 token 序列导致碰撞。
- SPA 的监督设计值得迁移：除了预测 ID 序列，还预测归一化激活强度，并用 Hellinger 距离作为强度一致性惩罚；更重要的是 preference alignment loss 让目标 item 的分数高于其他候选，而不是仅优化似然。在生成式推荐中，对相似商品（共享主导特征）尤其关键，可以提升排序指标。
- 检索解释方案：将候选分数差分解到每个特征 token 的贡献，并关联预训练语义标注，可用于线上推荐理由生成、badcase 归因和特征级 A/B 实验；通过编辑历史激活强度还能做可控曝光（steering），适合做可解释的策略干预。
通过稀疏自编码器特征追踪查询扩展效应
🧭 SAE可解释性 + 查询扩展分析
Shandong University · University of Chinese Academy of Sciences · Institute of Software, Chinese Academy of Sciences
用SAE分解dense retriever表示，解释查询扩展引起的内部特征变化，并通过激活引导提升检索性能
📌 工作参考价值（3 点）
- 利用SAE特征分析查询改写/扩展对检索模型内部表示的影响，定位与用户意图、商品属性相关的稀疏维度，可用于电商搜索相关性问题的诊断与归因。
- 激活引导提供了一种无需重训检索模型或改写查询的轻量干预方式，可能用于实时调整检索行为，例如在电商搜索中提升特定品类或意图的召回。
- 对于生成式推荐或Agent系统，可借鉴SAE分解中间表示的方法，理解上下文如何影响item或action的生成，增强模型决策的可解释性。
SAEVerbalizer：通过表征言语化生成稀疏自编码器特征解释
🧭 LLM 可解释性 · 表征言语化
Tsinghua University · Peking University · Fudan University
注入 SAE 解码方向并微调下游层，将 SAE 特征直接言语化为自然语言解释，摆脱外部行为观察
📌 工作参考价值（4 点）
- 可将 SAE 特征言语化范式迁移到推荐/搜索的内部表征：对用户或商品 embedding 的稀疏特征生成自然语言解释，帮助理解模型捕获的隐式偏好（如价格敏感、品牌忠诚），用于特征 Debug 和可解释推荐。
- 训练一个 verbalizer 后即可直接解释 decoder 方向，无需为每个特征收集行为证据，显著降低大规模特征解释的工程成本；在电商场景可批量解释召回/排序模型中的稀疏特征，加速模型审计。
- 多方向注入产生组合语义、反转方向产生相反语义，可用于可控文本生成：例如在广告文案或推荐理由生成中，通过注入/反转特定语义方向实现属性编辑（如风格、情感、卖点控制）。
- 跨模型迁移只需轻量 adapter，不重新训练完整解释器，适合业务中多 LLM 版本快速适配；在生成式推荐或 Agent 决策解释模块中可复用该迁移策略。
C2R：跨样本一致性正则化缓解稀疏自编码器特征分裂与吸收
🧭 LLM可解释性 · 稀疏自编码器正则化
University of Science and Technology of China · State Key Laboratory of Cognitive Intelligence · Renmin University of China
通过惩罚方向相似潜变量的共激活强制一致表示，缓解特征分裂与吸收，同时保持重构保真度
📌 工作参考价值（4 点）
- 在电商推荐中的特征分解（如用户兴趣编码）时，可借鉴跨样本一致性惩罚，防止同一语义概念被多个潜变量碎片化表示，提升特征可解释性与迁移鲁棒性。
- 对于使用稀疏编码或 VQ-VAE 生成 Semantic ID 的生成式推荐，C2R 的思想可约束码本方向，避免 absorption（一个码承载过多无关概念），提升 ID 语义纯度。
- 在 Agent 状态表示（如任务规划）中，若使用稀疏自编码器提取可解释状态，加入 C2R 正则化可确保关键决策因子的一致激活，减少噪声干扰。
- 将 C2R 实现为损失函数中的简单余弦相似度惩罚项，可直接嵌入现有推荐模型训练流程，无需复杂架构改动，并兼容 TopK 等稀疏约束。
SAERec: 利用稀疏自编码器构建细粒度可解释意图先验的推荐
🧭 意图感知推荐 · 稀疏自编码器解耦 ★ 深度解读
University of Georgia · Shanghai AI Laboratory · The Education University of Hong Kong · Jilin University · The Hong Kong Polytechnic University
利用稀疏自编码器从评论文本中解耦出可解释意图先验，并融合个性化与公共意图提升序列推荐
📌 工作参考价值（4 点）
- 意图先验的自动构建：利用稀疏自编码器（SAE）将LLM文本嵌入解耦为高维稀疏特征，通过关键词对齐和LLM过滤自动生成细粒度意图集，无需预设意图数量，适合电商场景中意图多样且快速变化的情况。意图构建离线完成，直接复用现有文本语料（评论/描述）。
- 双级意图检索平衡个性化与泛化：从意图集中为每个用户检索个人意图（与序列特征余弦相似度）和公共意图（EMA加权全局高频意图），简单有效，可嵌入到各种序列模型（如SASRec）中，增强冷启和噪声场景下的稳定性。
- 多分支注意力与自适应融合：独立建模个人意图、公共意图和时序依赖，再通过自适应权重融合，为意图注入提供通用范式，可直接迁移至电商推荐的精排或召回模块。
- 工程可实现性：SAE训练仅需少量GPU（<3GB），意图集一次构建可复用；检索和注意力计算轻量，训练时间随数据量线性增长，适合大规模落地。意图操纵可导向推荐分布，便于业务干预。
告别K-means：单阶段稀疏编码实现高效多向量检索
🧭 多向量稀疏检索 · 倒排索引加速 ★ 深度解读
Stony Brook University · Xidian University · Amazon AGI SF Lab · Georgia Tech · Yale University
提出SSR框架，用Sparse Autoencoder将token嵌入稀疏化，直接构建倒排索引，实现精度、速度和索引速度三赢。
📌 工作参考价值（4 点）
- 电商搜索/推荐召回中，可用稀疏编码替代K-means聚类构建索引，大幅降低离线索引时间（15倍加速），适合实时更新频繁的语料。
- 训练时联合重构损失与对比损失的混合目标，可保证稀疏特征既保留语义又具备判别力，可借鉴到query-doc/query-item匹配的稀疏表示学习。
- 倒排索引上利用块级上限跳过与粗到精剪枝（SSR++），在保证精度无损前提下将延迟减半，对高流量在线检索场景有直接工程价值。
- 该方法可扩展到LLM backbone，结合现代大模型生成式推荐或Agent的记忆检索，用稀疏token交互实现高效知识召回。